\documentclass[UTF8]{ctexart}

\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{bm}
\usepackage{natbib}
\usepackage{url}
\usepackage{siunitx}
\usepackage[section]{placeins}
\usepackage{graphicx}
\usepackage{booktabs}
\usepackage{tabularx}
\usepackage[authoryear]{gbt7714}

\title{句向量的词向量改进表示\\ \quad ——基于bm25的加权改进}
\author{陈浩 14020203}
\date{\today}

\begin{document}


\maketitle

\pagebreak

\begin{abstract}
    文本相似度计算一直是一个自然语言处理方面的重要任务。其中一个途径是寻求自然语句在向量空间中合适的嵌入式表达。
    在里程碑式的词向量表达方式Word2Vec(\cite{mikolovEfficientEstimationWord2013})提出之后，以词嵌入向量为基础的文本在向量空间的嵌入表达研究也随之兴起。

    对句中词向量的简单算术平均得到了出乎意料的优良结果(\cite{kenterSiameseCBOWOptimizing2016})。在此基础上，基于不同的应用场景，有多种改进方法提出，其中包括\emph{词袋模型}、
    \emph{TF-IDF}等方法与词向量结合的尝试(\cite{nagoudiLIMLIGSemEval2017Task12017}。这些尝试虽未有全方面出色的表现，但在不同的数据集上表现出了优势，优于简单加权平均的基线方法结果。

    本文尝试了一种新的词向量组合方式，该方式基于文本检索领域有出色表现，时至今日依然表现依然坚挺，广泛应用于工业界的bm25算法，
    对句中词向量赋予权值；在某种程度上可以视为对已有的TF-IDF赋权算法的改进。本文使用提出的改进方法在自收集的无标注新闻标题数据集上进行文本相似度量任务，
    得到了较为满意的结果。

    关键词：句向量、词向量、bm25、自然语言处理、文本相似度
\end{abstract}

\pagebreak

\section{引言}
\subsection{研究背景}
文本在向量空间中的嵌入一直是自然语言处理中一个引人注目的问题，合适的文本嵌入向量空间将使得诸多文本相关自然语言处理研究问题得到优良的解决办法。
但在词袋法、TF-IDF等传统向量空间模型方法过后，领域研究相当一段时间内没有较大的进展。直至2013年Mikolov等人提出了基于神经网络的词向量学习方法(\cite{mikolovEfficientEstimationWord2013})，
即Word2Vec方法后，相关研究进展被极大地推进了。该方法通过n-gram/CBOW模型，使用浅层神经网络，训练得到词语在向量空间中的嵌入表示；所得到的词向量维度相对较低，
其中相关性较高的词语向量有距离较近的词向量嵌入，且该词向量嵌入能有效表达词语间的“\emph{语义距离}”，如$|queen - king| = |woman - man|$。

词向量嵌入很快成为了众多自然语言处理研究的基石，抑或将其作为新的特征加入到模型中从而获得显著性能提升。在词向量嵌入得到了一个优良的解决方案后，文本语句向量亟待得到一个良好的解决方案。
令人意外的是，基于Word2Vec词向量简单算术平均得到的句向量在文本相似度应用中有良好的效果(\cite{kenterSiameseCBOWOptimizing2016})；此后在实践中发现，使用TF-IDF及词性加权词向量方法在特定问题上得到了
令人满意的结果(\cite{nagoudiLIMLIGSemEval2017Task12017})。

\subsection{研究思路}
% TODO: 添加fb/tw中文词向量引用
本文使用预训练的Word2Vec中文词向量()，使用文本检索方法BM25思想对句向量中的所有词向量进行打分加权算术平均以得到句子在向量空间中的表达。在抓取到的新闻标题数据集上应用该方法获得
新闻标题的向量表达，继而将得到的新闻标题向量应用于文本相似度度量，获取关于任意新闻标题相似的其他新闻标题并予以检视结果。

\section{简介}
\subsection{BM25}
在文本检索任务中，\emph{BM25}是搜索引擎常用的查询结果打分算法。BM25算法基于概率取回模型框架(\cite{robertsonProbabilisticRelevanceFramework2009})构建，假设词间独立，
属于TF-IDF一族，虽然发明时间较早，但时至今日它及其衍生算法仍然是该族中最成功、表现最出色的算法。

% 增加BM25数学介绍
% 改进方面、配图亟待补全
在某种程度上，BM25算法可以视为对TF-IDF的一种改进。TF-IDF中，尽管对常见词进行了惩罚，但随着词频的增加，该词语重要度没有上限。BM25可以视为给TF-IDF增加了一个“饱和”性质，
使得其对停用词的敏感度降低，获得较为优秀且稳定的结果。使用BM25算法的“饱和”性质对TF-IDF词向量加权文本向量嵌入方法进行改进，或许能得到更为理想的结果。

\section{数据集}
数据集采样自国内新闻网站% TODO: 补全数据集介绍

\section{实验}
\subsection{方法}
首先对实验语料进行分词。分词中由于BM25算法的“饱和”特性，对停用词不敏感，故不对停用词处理。分词采用\emph{结巴(jieba)}()%TODO: 引用
分词工具；鉴于新闻语料时效性强，流行语、新词较多的特点，我从网络输入法的一些在线词库中提取了词语集合作为用户自定义词典提供给分词器以提高分词正确率。

之后选取词向量。由于词向量需要在一定规模语料中训练方能较好地收敛，保存完全词语间的相关关系；也因为大规模词向量的训练需要相当多的计算资源和时间，
所以在此我选择了预训练的中文词向量。比较之后选择了%TODO: 词向量来源介绍、引用

然后基于BM25设计词向量加权算法。此处我事实上基于的是BM25+——一个BM25的衍生算法，%TODO: 介绍+的优势
其词语重要性度量式为$W$，借鉴TF-IDF加权的修改方法，此处%TODO: 改了什么
最终对于一短文本中的第$i$个词语$q_i$而言，在文本$d_j$中其权值为
\[ W(q_i, d_j) = \mathrm{IDF}(q_i) \cdot \left[ \frac{k_1 + 1}{f(q_i, d_j) + k_1 \cdot (1-b+b\cdot \frac{|d_j|}{\mathrm{avgdl}})} + \delta \right] \]。
由此得到文本向量的表达为
\[ \bm{D_j} = \sum_i W_{i, j} \bm{V_i} \]%TODO: 有问题
其中$\bm{V_i}$为词语对应的Word2Vec词向量，$W_{i, j}$为前述词语权重$W(q_i, d_j)$。

最后通过余弦相似度方法计算文本间的距离，从而得到一个文本的其他相似文本。由于项目数据来源限制，本文自抓取数据集为无标注非公开数据集，对该数据集上得到的最终结果只进行大致主观评估。

\pagebreak

\bibliography{refs}

\end{document}